The Video Intelligence team is an applied AI research team within the Facebook pillar. This role is expected to develop advanced video generation and understanding foundation models, enabling AI-driven video creation experiences and enhancing our ability to comprehend video content. The team is responsible for building State-of-the-art GenAI technology to empower video generation and understanding. ------- L’équipe Video Intelligence est une équipe de recherche en intelligence artificielle appliquée au sein du pôle Facebook. Ce poste devrait permettre de développer des modèles fondamentaux avancés pour la génération et la compréhension de vidéos, afin de proposer des expériences de création vidéo pilotées par l’IA et d’améliorer notre capacité à comprendre le contenu vidéo. L’équipe est chargée de développer une technologie GenAI de pointe pour faciliter la génération et la compréhension de vidéos.
Responsibilities
Build a variety of multimodal foundation models such as text-to-video generative models, image-to-video generative models, video understanding models, unified native video generative models | Concevoir divers modèles de base multimodaux tels que des modèles génératifs de texte en vidéo, des modèles génératifs d’image en vidéo, des modèles de compréhension vidéo et des modèles génératifs vidéo natifs unifiés.
Design core foundation model architectures and progressive pre-train | Concevoir des architectures de modèles de base et un pré-entraînement progressif
Post-train foundation models using techniques such as Supervised Fine-Tuning (SFT), Reinforcement Learning from Human Feedback (RLHF), Direct Preference Optimization (DPO), and Low-Rank Adaptation (LoRA) | Entraîner les modèles de base après l'entraînement initial en utilisant des techniques telles que le réglage fin supervisé (SFT), l’apprentissage par renforcement à partir de commentaires humains (RLHF), l’optimisation directe des préférences (DPO) et l’adaptation de faible rang (LoRA)
Conduct research to develop SOTA GenAI models for the Facebook family of apps | Mener des recherches pour développer des modèles d’IA de pointe pour la famille d’applications Facebook.
Collaborate with colleagues from the infrastructure and product teams on launching models | Collaborer avec les collègues des équipes infrastructure et produit sur le lancement des modèles
Minimum Qualifications
Bachelor's degree in Computer Science, Computer Engineering, relevant technical field, or equivalent practical experience | Licence en informatique, ingénierie informatique, domaine technique connexe ou expérience pratique équivalente
1+ years of industry experience training multimodal, computer vision, LLM or related AI/ML models | Plus d’un an d’expérience dans le secteur de la formation de modèles multimodaux, de vision par ordinateur, de LLM ou de modèles d’IA/ML connexes
Experience owning and/or driving complex technical projects from end-to-end | Expérience de la gestion et/ou du pilotage de projets techniques complexes de bout en bout
Programming experience in Python and hands-on experience with frameworks such as PyTorch | Disposer d'une expérience de la programmation en Python et d'une expérience pratique avec des frameworks telles que PyTorch
Preferred Qualifications
PhD in Computer Science, Machine Learning, or a relevant technical field | Doctorat en informatique, en apprentissage automatique ou dans un domaine technique connexe
First-authored publications at peer-reviewed conferences (e.g. ICLR, NeurIPS, ICML, KDD, CVPR, ICCV, ACL) | Publications en tant que premier auteur dans des conférences à comité de lecture (par exemple, ICLR, NeurIPS, ICML, KDD, CVPR, ICCV, ACL)
Publications at peer-reviewed conferences (e.g. ICLR, NeurIPS, ICML, KDD, CVPR, ICCV, ACL) | Publications dans des conférences à comité de lecture (par exemple, ICLR, NeurIPS, ICML, KDD, CVPR, ICCV, ACL)
Experience collaborating in cross-functional teams, including product, engineering, and research | Expérience de collaboration au sein d’équipes pluridisciplinaires, notamment en matière de produit, d’ingénierie et de recherche
Experience building text-to-video generative models, image-to-video generative models, video understanding models, and/or unified native video generative models | Expérience dans la conception de modèles génératifs de conversion texte-vidéo, de modèles génératifs d’images en vidéo, de modèles de compréhension vidéo et/ou de modèles génératifs vidéo natifs unifiés
